Direct speech-to-speech translation (S2ST), in which all components can be optimized jointly, is advantageous over cascaded approaches to achieve fast inference with a simplified pipeline. We present a novel two-pass direct S2ST architecture, {\textit UnitY}, which first generates textual representations and predicts discrete acoustic units subsequently. We enhance the model performance by subword prediction in the first-pass decoder, advanced two-pass decoder architecture design and search strategy, and better training regularization. To leverage large amounts of unlabeled text data, we pre-train the first-pass text decoder based on the self-supervised denoising auto-encoding task. Experimental evaluations on benchmark datasets at various data scales demonstrate that UnitY outperforms a single-pass speech-to-unit translation model by 2.5-4.2 ASR-BLEU with 2.83x decoding speed-up. We show that the proposed methods boost the performance even when predicting spectrogram in the second pass. However, predicting discrete units achieves 2.51x decoding speed-up compared to that case.
translated by 谷歌翻译
直接语音到语音翻译（S2ST）模型与传统级联系统可用的数据量相比，几乎没有平行的S2ST数据遇到数据稀缺问题，该数据包括自动语音识别（ASR），机器翻译（MT）和文本到语音（TTS）合成。在这项工作中，我们使用未标记的语音数据和数据扩展来探索自我监督的预训练，以解决此问题。我们利用了最近提出的语音到单位翻译（S2UT）框架，该框架将目标语音编码为离散表示形式，并转移前训练前和有效的部分填充技术，可很好地适用于语音到文本翻译（S2T）通过研究语音编码器和离散单位解码器预训练，S2UT域。我们在西班牙语 - 英语翻译上进行的实验表明，与多任务学习相比，自我监督的预训练始终如一地提高模型性能，平均为6.6-12.1 BLEU增长，并且可以与数据增强技术相结合，以应用MT来创建弱监督监督的培训数据。音频样本可在以下网址获得：https：//facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html。
translated by 谷歌翻译
我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。
translated by 谷歌翻译
我们介绍了Fairseq S2T，这是语音到文本（S2T）建模任务的Fairseq扩展，例如端到端语音识别和语音到文本翻译。它遵循Fairseq的仔细设计，以实现可扩展性和可扩展性。我们提供从数据预处理，模型培训到离线推理的端到端工作流程。我们实施了基于最新的RNN，基于变压器以及基于构象的模型和开源详细培训配方。Fairseq的机器翻译模型和语言模型可以无缝集成到S2T工作流中，以进行多任务学习或转移学习。Fairseq S2T文档和示例可在https://github.com/pytorch/fairseq/tree/master/master/examples/speech_to_text上获得。
translated by 谷歌翻译
光学相干断层扫描（OCT）是一种非侵入性技术，可在微米分辨率中捕获视网膜的横截面区域。它已被广泛用作辅助成像参考，以检测与眼睛有关的病理学并预测疾病特征的纵向进展。视网膜层分割是至关重要的特征提取技术之一，其中视网膜层厚度的变化和由于液体的存在而引起的视网膜层变形高度相关，与多种流行性眼部疾病（如糖尿病性视网膜病）和年龄相关的黄斑疾病高度相关。变性（AMD）。但是，这些图像是从具有不同强度分布或换句话说的不同设备中获取的，属于不同的成像域。本文提出了一种分割引导的域适应方法，以将来自多个设备的图像调整为单个图像域，其中可用的最先进的预训练模型可用。它避免了即将推出的新数据集的手动标签的时间消耗以及现有网络的重新培训。网络的语义一致性和全球特征一致性将最大程度地减少许多研究人员报告的幻觉效果，这些效应对周期矛盾的生成对抗网络（Cyclegan）体系结构。
translated by 谷歌翻译
随机森林（RF）是一种流行的机器学习方法，用于分类和回归问题。它涉及对决策树模型的行李申请。随机森林模型的主要优点之一是预测的方差降低。在具有数百万个数据点和数百个功能的模型的大规模应用中，拟合对象的大小可能会变得很大，并取决于生产设置中可用空间的限制，具体取决于树木的数量和深度。当需要按需下载训练有素的型号到具有有限内存的小型设备时，这可能尤其具有挑战性。有必要近似训练有素的RF模型，以显着降低模型大小而不会失去过多的预测准确性。在这个项目中，我们研究了使用数据点对叶子的多项式分配，该方法在随机森林模型中近似于每个拟合的树。具体而言，我们首先研究拟合多项式逻辑回归（随后将广义添加剂模型（GAM）扩展）拟合到每棵树的输出中是否有助于降低尺寸，同时保留预测质量。
translated by 谷歌翻译